Janney sinh ra ở Boston, Massachusetts và lớn lên ở Dayton, Ohio. Cô là con gái của Macy Brooks (nhũ danh Putnam), một cựu nữ diễn viên và người nội trợ, và Jervis Spencer Janney, Jr., một nhà phát triển bất động sản và nhạc jazz.[2][3] Cô là một trong ba anh chị em ruột.

Janney đã học ở Trường Miami Valley ở Dayton, nơi cô được mệnh danh là một cựu sinh viên xuất sắc năm 2004,[4] và trường trung học Hotchkiss ở Connecticut.[4]. Sau đó cô theo học Kenyon College ở Gambier, Ohio. Tại Kenyon, cô học chung với Paul Newman, một cựu sinh viên của Kenyon. Ông đã chỉ đạo cô trong một vở kịch như là sự kiện khai mạc của Nhà hát Bolton mới đây của trường. Newman và vợ Joanne Woodward khuyến khích Janney tiếp tục hành động. Sau đó, cô tiếp tục tập luyện tại Nhà hát Láng giềng ở New York và thực hiện các chương trình mùa hè tại Học viện Nghệ thuật Sân khấu Hoàng gia ở London.[5] Cô tham dự Neighborhood Playhouse cùng năm với nam diễn viên Dylan McDermott. Cô đã hoàn thành hai năm tại Neighborhood Playhouse cùng với Steven Rogers.[4]